Text copied to clipboard!
Naslov
Text copied to clipboard!Razvijalec Spark
Opis
Text copied to clipboard!
Iščemo izkušenega in motiviranega razvijalca Spark, ki se bo pridružil naši ekipi za obdelavo podatkov in analitiko. Vaša glavna naloga bo razvoj, optimizacija in vzdrževanje rešitev za obdelavo velikih količin podatkov z uporabo Apache Spark. Delo vključuje sodelovanje z inženirji podatkov, analitiki in drugimi deležniki za zagotavljanje učinkovitih in skalabilnih rešitev.
Kot razvijalec Spark boste odgovorni za razvoj podatkovnih cevovodov, integracijo različnih virov podatkov, izvajanje transformacij in zagotavljanje kakovosti podatkov. Prav tako boste sodelovali pri načrtovanju arhitekture rešitev, spremljanju zmogljivosti in odpravljanju napak. Pomembno je, da imate dobro razumevanje porazdeljenih sistemov, programiranja v jeziku Scala ali Python ter izkušenj z oblačnimi platformami, kot so AWS, Azure ali GCP.
Od kandidata pričakujemo sposobnost samostojnega dela, reševanja kompleksnih problemov in učinkovitega komuniciranja znotraj ekipe. Prav tako je zaželeno poznavanje orodij, kot so Hadoop, Hive, Kafka in Airflow. Če vas veseli delo z velikimi podatki in želite prispevati k razvoju naprednih podatkovnih rešitev, vas vabimo, da se prijavite.
Ponujamo dinamično delovno okolje, priložnosti za strokovni razvoj, fleksibilen delovni čas in konkurenčno plačilo. Pridružite se nam in pomagajte oblikovati prihodnost podatkovne analitike.
Odgovornosti
Text copied to clipboard!- Razvoj in vzdrževanje podatkovnih cevovodov z uporabo Apache Spark
- Optimizacija zmogljivosti Spark aplikacij
- Integracija različnih virov podatkov v obstoječe sisteme
- Sodelovanje z analitiki in inženirji podatkov
- Zagotavljanje kakovosti in točnosti podatkov
- Pisanje tehnične dokumentacije in poročil
- Spremljanje in odpravljanje napak v podatkovnih procesih
- Sodelovanje pri načrtovanju arhitekture podatkovnih rešitev
- Uporaba orodij za orkestracijo, kot je Apache Airflow
- Uvajanje najboljših praks za obdelavo velikih podatkov
Zahteve
Text copied to clipboard!- Izkušnje z razvojem v Apache Spark (Scala ali Python)
- Dobro poznavanje porazdeljenih sistemov in obdelave podatkov
- Poznavanje SQL in podatkovnih baz
- Izkušnje z oblačnimi platformami (AWS, Azure ali GCP)
- Sposobnost samostojnega reševanja problemov
- Dobro razumevanje ETL procesov
- Poznavanje orodij, kot so Hadoop, Hive, Kafka
- Sposobnost timskega dela in učinkovite komunikacije
- Visoka stopnja natančnosti in odgovornosti
- Zaželeno poznavanje orodij za orkestracijo (npr. Airflow)
Možna vprašanja na razgovoru
Text copied to clipboard!- Kakšne izkušnje imate z Apache Spark?
- Ali ste delali z oblačnimi platformami? Katerimi?
- Kako pristopate k optimizaciji podatkovnih cevovodov?
- Ali imate izkušnje z orodji, kot so Kafka ali Hive?
- Kako zagotavljate kakovost podatkov v svojih projektih?
- Ali ste že uporabljali Airflow ali podobna orodja za orkestracijo?
- Kateri programski jezik najraje uporabljate za razvoj Spark aplikacij?
- Kako rešujete težave z zmogljivostjo v porazdeljenih sistemih?
- Ali imate izkušnje z delom v agilnem okolju?
- Kako dokumentirate svoje rešitve in procese?
